A Tencent lançou hoje o modelo de linguagem grande MOE de código aberto Hunyuan-large, com um total de 398B de parâmetros e 52B de parâmetros ativados. Os resultados de avaliação pública mostram que o Tencent Hunyuan-Large está à frente em vários conjuntos de avaliação abrangentes multidisciplinares, como CMMLU, MMLU, CEva-1 e MATH, bem como em tarefas de PNL em chinês e inglês, código e matemática, em 9 dimensões principais, superando modelos de linguagem grandes de código aberto de primeira linha, como Llama 3.1 e Mixtral. De acordo com informações, este modelo apresenta inovações tecnológicas que permitem a produção de dados sintéticos de alta qualidade, através do uso de

De acordo com a CNBC, a startup de inteligência artificial de São Francisco, Writer, lançou na quarta-feira um grande modelo de IA para competir com ofertas corporativas de empresas como OpenAI e Anthropic. O que é notável é que a Writer gastou apenas cerca de US$ 700.000 para treinar seu modelo mais recente, incluindo dados e GPUs, enquanto startups concorrentes gastaram milhões de dólares para construir seus próprios modelos. Nota da imagem: Imagem gerada por IA, fornecedora de licenças de imagens MidjourneyWriter

O mais recente projeto da Meta AI, Llama3, concentra-se no treinamento com dados sintéticos, em vez de respostas escritas por humanos, para otimizar o desempenho do modelo em áreas como geração de código, raciocínio matemático, processamento de várias línguas e processamento de texto longo. O Llama3 gera dados sintéticos usando três métodos para geração de código, métodos de pesquisa para raciocínio matemático e pré-treinamento multilíngue com anotações humanas de alta qualidade. Além disso, o treinamento do Llama3 foi aprimorado com o Brave Search, Wolfram Alpha e interpretador Python.

'Modelos de linguagem grandes têm chamado a atenção da comunidade de IA, demonstrando capacidades impressionantes.' 'A equipe de pesquisa da Apple revela a tecnologia WRAP para pré-treinamento de modelos grandes com dados sintéticos.' 'O WRAP melhora o desempenho do modelo, reformula documentos da web e aprimora os resultados do pré-treinamento.' 'O uso de dados sintéticos de alta qualidade acelera o treinamento, melhora o desempenho geral e abre novas possibilidades.'

O mercado global de geração de dados sintéticos espera atingir um CAGR de 35,8% até 2031, atingindo um valor de mercado de US$ 3,5 bilhões. O crescimento do mercado de geração de dados sintéticos é impulsionado pela transformação digital e tecnologias avançadas como inteligência artificial, bem como pelo aumento da demanda por IoT e dispositivos conectados. A tecnologia de geração de dados sintéticos pode atender às necessidades de privacidade e segurança de dados e fornecer uma maneira escalonável de gerar vários conjuntos de dados.

Modelos grandes tendem à bajulação, e a equipe do Google Quoc Le propõe uma solução usando ajuste fino com dados sintéticos. O fenômeno da bajulação em modelos está relacionado ao aumento da escala do modelo e ao ajuste fino de instruções. Adicionar dados sintéticos para ajuste fino pode reduzir o comportamento de bajulação dos modelos.